Binh đoàn 3 được tung vào cuộc chiến tranh Nga-Nhật dưới sự chỉ huy của tướng Nogi Maresuke. Trong giai đoạn đầu của cuộc chiến, nhiệm vụ chính của binh đoàn là bao vây cảng Lữ Thuận (cảng Arthur). Sau sự sụp đổ của đế quốc Nga, Binh đoàn 3 được điều về phía bắc, tại đây binh đoàn góp một phần quan trọng trong trận Phụng Thiên (Mukden). Sau khi cuộc chiến kết thúc, Binh đoàn 3 được giải tán.

Ngày 13 tháng 1 năm 1938, Binh đoàn 3 một lần nữa được thành lập tại Mãn Châu quốc, đây là một lực lượng phòng thủ phía đông biên giới với Liên Xô, nhằm chống lại các cuộc tấn công của Hồng quân Liên Xô. Tháng 7 năm 1942, Binh đoàn 3 là một trong 2 đơn vị cấp quân đoàn nằm trong biên chế Phương diện quân 1. Với tình hình ngày càng xấu đi với quân đội Nhật Bản, các đơn vị có kinh nghiệm và cùng nhiều trang thiết bị của Binh đoàn 3 được chuyển tới tăng cường cho các đơn vị khác.

Trong cuộc tấn công của Liên Xô vào Mãn Châu quốc, các lực lượng đào tạo kém cùng trang thiết bị thiếu thốn của binh đoàn đã không thể đương đầu với các đơn vị thiện chiến, dày dặn kinh nghiệm của Hồng quân. Binh đoàn 3 phải triệt thoái dần về Cát Lâm và biên giới với Triều Tiên, và đã đầu hàng tại đây vào cuối cuộc chiến.